—— 青亭网
其他
关于6DoF VR电影《觉醒：第一章》背后的一切
Esther｜ 撰文
提起VR就不得不联想到其沉浸式的特性，沉浸式的定义比较模糊，大概就是用户在虚拟世界中的临场感，而沉浸感常常被用来衡量VR内容是否逼真。
营造沉浸感的方式通常都差不多：在VR头显视野内，用小规模、高保真的场景，结合立体音频营造神秘感，而这样的内容通常不会让用户在VR中自由行走。
这也就是为什么说，容积摄影拍摄的6DoF视频可能会成为未来VR叙事的关键工具。所谓“容积摄影”，指的是利用从多角度拍摄的方式，取代若干台360°摄像头拍摄与拼接成的传统球状全景图像，前者的特点是，可通过软件分析来重塑VR场景中3D的人物/物体，让用户自由选择视角、自由移动。
HTC Vive Studios在去年推出的《7 Miracles》就是一款6DoF VR电影，它拿下了去年英国雨舞影展VR短片奖项。除此之外，2018年成立的Intel Studios（拍摄场地面积约达929平米）在今年CES上，也展示了一款6DoF版《油脂》音乐剧，据悉，该片将于今年正式推出完整版，并同时发布PC和VR头显两个版本。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=e0837ahlrjc
《觉醒：第一章》宣传片
接下来要介绍的这部电影，是由互动式VR电影工作室Start VR与微软联合制作的20分钟6DoF VR体验《觉醒：第一章》。据悉，该体验以“清明梦”为主题，旨在通过容积视频与复杂环境的融合，打造沉浸式电影的新标准。
而这部作品也实现了上述目标，容积摄影技术将虚拟人物的面部表情、动作和姿态描绘得异常逼真，而且在效果上，又大大有别于传统的动捕摄影法。
全息摄影PK标记点式动捕
大多数VR和2D游戏中的人物是使用传统标记式动捕法塑造的，利用人物的运动采样，这种方法可重塑人物的3D模型，并为其换上不同的外表。而容积摄影的不同之处在于，它会更加直接地从各个角度捕捉人物全身。
《觉醒》的主创兼导演Martin Taylor透露，为拍摄该体验，他们采用了搭载106个3D传感器的特殊摄影装置，这些传感器同时对准位于中央的某圆柱形空间，并且对空间中至多两名演员进行拍摄。经过大量计算和拼接后，开发者便可精确重现演员和场景的3D模型，逼真程度堪比相片。
Taylor补充，容积摄影的原始数据由一系列OBJ格式的3D模型组成，随后他们会在这些模型上添加一层视频纹理。
获微软支持
容积摄影技术还处在前期阶段，仅靠Start VR自己完成这么大规模的拍摄是很难的，因此他们找来了微软帮忙。
与Intel相同，微软也看好容积摄影，其在去年8月成立首个MR动捕工作室，该场地内置超10个1200万像素的机器视觉相机，可利用容积摄影拍摄AR/VR动捕视频。此外，微软还曾研发应用于Xbox 360和Xbox One主机的Kinect深度相机外设。
Taylor称，最初他们曾使用一部微软Kinect结合一部佳能7D单反相机进行简易的试验，出来的效果相当粗糙，不过他们从其中看到了沉浸式VR营造逼真感的潜力。
随后，Start VR曾尝试自研容积摄影装置，怎奈设施管理过于复杂，前期投入成本过高，他们便不再考虑。
在之后的几年时间里，该团队一直在寻找可提供容积摄影装置的当地供应商和工作室，但是没有人能满足Start VR的要求，他们希望不仅能拍摄表演，而且录制的6DoF内容播放完毕后还可供用户查看。简单来讲，就是玩家可以利用VR中的虚拟手，点亮非故事主线的引用部分。
因此微软是他们的不二之选，既能够达到他们全部要求，还具备拍摄VR内容所需高端动捕系统：大量计算机、原始计算能力、硬件和基础设施等等。
后期制作的挑战
拍摄完了，将捕捉到的3D影像融合到游戏环境中对于Start VR又是一大挑战。所幸，他们独辟蹊径，找到了解决办法。
Taylor表示，拍摄《觉醒》的一大挑战在于如何在虚幻引擎中构建VR体验，虚幻引擎的插件本身并不支持动态照明，因此他们不得不自己标记光线切入和离开的点，如果两个人物的亮度相同，他们还得将他们拆开，摆放在房间两侧。
上述阶段完成后，整个VR体验就开始成型了，接下来他们需要面对的是优化问题。Start VR先是利用Nvidia GTX 1080 Ti显卡，平稳运行该VR体验，然后逐步优化内容，降低对硬件配置的要求。
目前，《觉醒》分为高保真和标准两种模式，前者对硬件的最低要求包括GTX 1080显卡（若使用AMD Radeon Fury X可以运行，不过帧率可能会不连贯），而后者对硬件的要求大幅降低。
Start VR CEO Kain Tietzel认为，目前还未有人为容积摄影的图像渲染推出专门的技术，随着需求增加，容积摄影越来越常见，相信Nvidia届时可能会推出容积摄影专用显卡，图像渲染效率和逼真度将得到大幅提高。
除了渲染优化和光线问题，Start VR还需要通过独特的剪裁和拼接方法，将十几分钟的内容控制在10GB以内。据悉，《觉醒》其实还可以选择更逼真的模型渲染，但为了能够捕捉角色全身、实现6DoF，Start VR权衡下做出了部分牺牲。这种牺牲也是值得的，用户在VR体验中可以从多角度查看角色的每个细节。
不完美中的完美
从整体来看，《觉醒》VR体验并不是全部由高清图像组成的，比如：人物面部的细节度极高，但是距离用户元的地方就略显模糊，非常逼真的动作与大色块的混合，不禁让人联想起VR游戏的《黑色洛城》的视觉风格，或者将超高清视频纹理覆盖在Xbox游戏角色的效果。
当然，《觉醒》距离完美还差很多，因为它对手指和发丝之间缝隙的渲染还存在问题，而且角色周围还存在较粗的轮廓线。但在其中，你可以发现其他VR体验中少有的美丽，而且它也为交互式VR体验带来了新的发展方向。
从截图来看，《觉醒》似乎笼罩着一种诡异、暗淡的氛围，但在实际体验中，容积摄影给你带来的6DoF自由度反而会让人克服恐惧，勾起你的好奇心。而里面的角色尽管没达到完美渲染，但看起来逼真，这种效果对于最高端的动捕CGI模型来说都是一项难以完成的任务。
与其说是参与者，你在这款体验中更像是一个偷窥者，而这样的效果正加强了其沉浸感。传统电影人常常认为，目前的VR还未遇到合适的叙述方式，吸引人的电影需要合适的方向去引导关注，等等。但实际上，如果观众为了跟上VR故事的进度，一定要看向特定方向，那么沉浸感和互动性将大大降低。
Start VR创作者利用Wacom手绘板创作
在该VR体验中，你可以与其中的人物对视，诸如此类的互动将进一步强化故事的私人感，让你更想要继续探索。
畅想容积摄影的未来
据青亭网了解，《觉醒》系列预计有8部，几年来Taylor一直在策划个人故事的部分和整个大框架。接下来的几部体验将会得到大幅优化，尤其是在精准度、帧率上，而且光线变化、动作指导等方面也会得到优化，他们将整个制作过程看做是一种学习体验。
除了拍摄互动式VR体验，Start VR也在与微软合作，共同优化容积摄影技术。Taylor表示，让角色注意到观众也是讲述故事的一种方式，因此他们在于微软合作，希望通过控制角色头部运动，让它们的身体可以在捕捉角度约30°的范围内移动，主动与观众产生互动。
打个比方，在一些场景中，角色可以将东西递给观众，这时候观众几乎会不自觉地伸手去拿。
Start VR还计划在多种不同环境中进行试验，不过多场景自然切换对于当前的VR来说难度还是相当大。该公司称，因此他们现在开始在AR中测试容积摄影，他们的下一步是将真人表演与真实环境相结合，在这领域的早期探索获得了积极的反馈。
值得一提的是，Start VR在《觉醒》中实现的灯光技术，不需要光线追踪就可实现逼真的光线渲染。
总之，《觉醒：第一章》为VR叙事带来了新的方向，更重要的是，它实现了技术上的强化，而未来微软与Start VR将为容积摄影带来的新技术，也非常值得期待。
（END）
推荐阅读
—— 青亭网